Trước đây, huyện Khánh Sơn và thành phố Cam Ranh ngày nay vốn cùng một đơn vị hành chính và là một phần đất của Khánh Hòa và Ninh Thuận. Trải qua nhiều lần phân định ranh giới cho nên địa giới hành chính cũng có sự thay đổi.

Tháng 3 năm 1951, Ủy ban kháng hành chính Nam Trung bộ ra quyết định tách huyện Ba Ngòi thành 2 đơn vị hành chính: Khu vực đặc biệt Cam Ranh và huyện Khánh Sơn. Năm 1960, tách vùng ở Sông Cạn - Trại Láng trở vào Cà Rôm giao về Ninh Thuận quản lý, đồng thời nhập 2 xã Sơn Bình, Sơn Thượng của huyện Bác Ái vào huyện Khánh Sơn. Năm 1962, tách các xã Sơn Bình, Sơn Thượng, Sơn Lâm, Sơn Thành, Sơn Thái nhập vào huyện Vĩnh Sơn mới thành lập (nay thuộc huyện Khánh Vĩnh).

Tháng 11 năm 1975, nhập các xã Sơn Thành, Sơn Lâm vào huyện Khánh Sơn. Quyết định số 49/CP của Hội đồng Chính phủ ngày 10 tháng 3 năm 1977, hợp nhất huyện Cam Ranh và huyện Khánh Sơn thành huyện Cam Ranh.

Ngày 27 tháng 6 năm 1985, tách huyện Cam Ranh thành 2 huyện: Huyện Cam Ranh và huyện Khánh Sơn ngày nay. Huyện Khánh Sơn khi đó gồm có 4 xã: Ba Cụm, Sơn Hiệp, Thành Sơn, Trung Hạp.

Ngày 13 tháng 9 năm 1985, chia xã Ba Cụm thành 2 xã lấy tên là xã Ba Cụm Bắc và xã Ba Cụm Nam; chia xã Trung Hạp thành hai đơn vị hành chính lấy tên là xã Sơn Trung và thị trấn Tô Hạp (thị trấn huyện lỵ của huyện Khánh Sơn); chia xã Sơn Hiệp thành 2 xã lấy tên là xã Sơn Hiệp và xã Sơn Bình; chia xã Thành Sơn thành 2 xã lấy tên là xã Thành Sơn và xã Sơn Lâm.